AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design
AutoDesign：面向长程智能体设计的元 Harness 优化
🧭 Agent 长程任务与元 Harness 优化
Meituan · MBZUAI · Huazhong University of Science and Technology · Peking University · Tsinghua University
提出元 harness 优化框架，让 code agent 基于 rollout 反馈递归改进设计 harness，在海报生成任务上超越商业系统 7.45 分
📌 工作参考价值（4 点）
- 借鉴 meta-harness 分离设计与执行：把 agent 的 prompt、工具调用、流程编排等封装成 harness（代码/配置文件），由一个上层 optimizer 分析 rollout 反馈对 harness 做可版本化修改。业务中可对推荐对话 Agent、创意生成 Agent 做同样抽象，支持快速迭代和跨任务复用。
- 用低成本长程探索 + 自动评估驱动自我改进：AutoDesign 40 分钟、$3 执行 253 次工具调用和 11 次编辑，说明 agentic 创意生成可以做到量产成本。可迁移到电商 banner/商品主图/广告素材生成，先构建轻量自动评估指标（如图文匹配、布局密度）进行离线筛选，再人工验收。
- 建立任务专用 benchmark 与 mini 子集：PosterBench 用 100 篇论文主赛道 + 10 篇 mini 控制评估，业务上可仿照建立自己的素材/设计质量基准，覆盖多类目、系统盲评，避免只调 prompt 却没有可比较的离线指标。
- 多模型配置下的一致性增益：在 7 种 code-agent-model 配置中引入学习到的 DesignHarness 平均提升 12.4 分，说明好的 harness 具有跨模型迁移性；在选型 LLM 时可以把 harness 优化作为关键层，而不是只换模型。